TACO: Tool-Augmented Credit Optimization for Agentic Tool Use
TACO：工具增量信用优化，让视觉 Agent 学会何时用工具
🧭 Agentic Tool Use 的信用分配优化 ★ 深度解读
Tsinghua University · Institute of Automation, Chinese Academy of Sciences
用差分答案探测奖励和结果门控路由，在不依赖外部评判模型下精准分配工具调用的信用，显著提高 Agent 的工具使用效率与准确率
📌 工作参考价值（4 点）
- 工具调用差分奖励：在电商 Agent 需要调用外部 API（如商品查询、实时定价）时，可在调用前后用探针解码回答，计算正确性差分作为该次调用的即时贡献信号，避免仅用最终结果奖励导致的盲目调用或惩罚。
- 结果门控路由：借鉴 OGAR 思想，将最终推荐/回答的强化优势仅路由到实际负责该结果的 token 段（如工具代码、后推理），对冗余调用不予奖励，对必要的失败调用不给予惩罚，从而在搜索推荐 Agent 中抑制无用的 API 消耗。
- 防御奖励黑客：采用差分而非绝对值构建工具调用奖励，可抵消模型提前在推理中泄露答案、虚高探针分数的作弊行为，这一设计可直接用于需要自监督信号的多步 Agent 训练。
- 两阶段训练流程：先通过 SFT 冷启动教会模型基本工具交互格式，再用 RL 精细优化工具使用策略，适合从指令基础模型出发构建工具增强的推荐/对话 Agent。